Nach seinem Studium der Rechte an der Universität Wien, das er 1957 mit der Promotion zu dem Dr. iur. abschloss, folgten Studienaufenthalte am Bologna Center der Johns Hopkins University in Bologna 1957-1958 und an der Freien Universität Brüssel von 1960-1961. Dazwischen war Mock als Referent für hochschulpolitische Fragen in dem österreichischen Unterrichtsministerium tätig.

Alois Mock war ab 1961 dem Bundeskanzleramt als Referent für EWG- und EFTA-Fragen zugeteilt, und 1962-1966 der österreichischen OECD-Vertretung in Paris. Mit dem Beginn der ÖVP-Alleinregierung 1966 wurde er Sekretär und Kabinettschef von Bundeskanzler Dr. Josef Klaus und Beamter des Bundesministeriums für auswärtige Angelegenheiten. Von 1969-1970 war er in der Regierung Klaus Österreichs jüngster Unterrichtsminister .

Nach dem Sieg der SPÖ unter Bruno Kreisky bei den Parlamentswahlen 1970 wurde er für die ÖVP Nationalrats-Abgeordneter und bis 1971 Bürgermeister von Euratsfeld. Seine langjährige Tätigkeit für die Christdemokratischen Arbeitnehmer machte "Loisl" zu dem allseits geschätzten Bundesobmann des ÖAAB von 1971-1978. Danach wurde er Klubobmann der ÖVP-Abgeordneten von 1978-1987 und Bundesparteiobmann von 1979-1989.
Bereits seit 1979 war Alois Mock Präsident der Europäischen Demokratischen Union (EDU), an deren Gründung er maßgeblichen Anteil hatte. Von 1983 bis 1987 hatte er auch das Präsidentenamt der Internationalen Demokratischen Union (IDU) inne.

Mock war 1987-1995 Bundesminister für Auswärtige Angelegenheiten und führte die Beitrittsverhandlungen Österreichs mit der EU. In dem Sommer 1989 durchschnitt er mit seinem ungarischen Amtskollegen Gyula Horn bei Sopron (Ödenburg) den Eisernen Vorhang. Damit ermöglichte er vielen DDR-Bürgern die Ausreise und trug entscheidend zu dem Zusammenbruch des Kommunismus bei.

Gemeinsam mit Hans-Dietrich Genscher entschied er sich nachdem Zerfall Jugoslawiens, die neu entstandenen Staaten Slowenien und Kroatien anzuerkennen. In dem November 1989 stand er Pate bei der Gründung der mitteleuropäischen [Pentagonale]]-Kooperation. Bis 1999 war er Abgeordneter zu dem Nationalrat.

Mock leidet seit 1995 an der Parkinson-Krankheit, nimmt aber zusätzlich regen Anteil am politischen Leben Österreichs und seiner östlichen Nachbarländer.